监控完全遮挡场景下火灾调查方法

火灾调查是指在火灾发生后，消防机构调查火灾原因、统计火灾损失、总结经验教训、对火灾事实依法处理的过程。近年来，中国火灾起数居高不下，火灾形势复杂严峻，火灾调查工作面临巨大挑战。当前中国火灾调查工作面临的主要困难有：1)火灾现场保护制度落实不够完善，痕迹、物证破坏严重；2)灭火救援行动破坏现场痕迹，使得物证提取和痕迹勘验较为困难；3)新技术、新装备应用较少，调查效率较低。为克服火灾调查工作面临的困难，提高调查效率，研究调查新方法和探索调查新路径成为当前急需解决的重要问题。近年来，随着人民安全理念的提升和公共安全的需要，视频监控系统迅速发展，成为震慑犯罪和案件调查的有力武器，基于机器视觉的视频分析技术也逐渐在维护社会安定和打击违法犯罪等方面取得了长足的进步[1-3]。对于火灾事故调查，视频分析技术的重要性也日益凸显，视频分析技术实现了非接触式的火灾现场痕迹勘验与火灾时空信息记录，对查清火灾原因发挥着越来越大的作用[4-5]。天津港“8·12”特别重大火灾爆炸事故调查工作的顺利开展正是得益于此[6]。

前人已经对机器视觉测量技术进行了相关研究，提出了单目、双目和多目视觉定位法，其中单目视觉定位法仅需要一台视觉传感器，结构复杂度较低，且标定方法较为简单，被广泛应用于无人驾驶[7-8]、农业和食品工业[9-10]、机器人[11-12]等领域。在火焰探测和定位领域，前人多集中于利用双目视觉开展定位研究[13-14]，普通监控摄像机因无法获得场景深度信息而使得利用它开展火焰定位较为困难，导致基于单目视觉技术进行火焰定位的相关研究鲜有报道。

火灾调查过程中，在火灾现场提取到的监控视频多为单目摄像机拍摄，因此研究基于视频分析的火灾调查方法需重点研究基于单目视觉的火焰定位方法。立足火灾现场实际，监控摄像机与火焰的空间位置关系主要有监控未遮挡、部分遮挡和完全遮挡3种，其中在完全遮挡条件下，监控摄像机无法直接记录火灾的发生、发展和蔓延过程，只间接记录了火灾现场光影变化(火焰位于监控视野之外时也可视作完全遮挡情形)，此种情形下如何利用单目视觉进行火焰定位是火灾调查人员面临的重大难题。

针对实际火灾现场较为常见的监控摄像机完全遮挡场景，本文提出了基于光路和亮度分析的单目视觉定位方法对火焰进行定位。本文利用油盘火焰模拟室内实体火灾，布置2个普通彩色电荷耦合器(charge-coupled device，CCD)摄像机收集火灾现场监控视频，通过张正友标定法[15]确定了CCD摄像机的内部几何参数，并结合火灾现场痕迹勘验，建立了基于光路和亮度分析的单目视觉定位方法。本文建立的基于单目视觉的火焰定位方法可以较好地实现火源的快速准确定位，为调查火灾原因提供了有力的工具。

实验设备：智能无线监控彩色CCD摄像机1080P (HOSION泓讯科技有限公司)、Canon 70D型数码照相机、云腾单反照相机三脚架、华为E5577全网通无线路由器(华为技术有限公司)、Thinkpad S5笔记本电脑、36 cm×36 cm×10 cm油盘。

实验材料：92#汽油50 L。

本文根据ISO9705标准，设计了油盘火焰模拟室内小尺寸火灾。燃烧实验室位于实验楼一层，两扇窗户朝北，窗户面积不大，加之长期开展燃烧实验，使得墙面烟熏变黑，室内亮度较暗。实验前，关闭实验室灯光电源，室内光源仅为火焰光和日光。在实验室中央处布置36 cm×36 cm×10 cm尺寸油盘，在其中注入汽油，引燃后模拟室内火灾的初期阶段。在燃烧实验室布置2台普通彩色CCD监控摄像机CamA和CamB，如图 1a和1b所示，分别置于实验室的正南方和正西方，2台监控摄像机的镜头中心高均为162 cm，光轴不平行。CamA和CamB置于三脚架之上，调节三脚架水平角度旋钮，改变监控摄像机的视野偏角，使得监控摄像机均被完全遮挡。油盘距CamA和CamB的水平直线距离分别为189和190 cm。

视频采集系统由彩色CCD摄像机2个、笔记本电脑1台、无线路由器1个、监控服务器及计算处理中心等组成。在燃烧实验室内安装2个监控摄像机，并布置遮挡物，使得摄像机与火焰的空间位置关系满足完全遮挡条件。利用监控摄像机收集火灾视频图像，并将采集到的视频图像传输给笔记本电脑，利用单目视觉原理建立火焰定位方法。视频采集系统的结构框架如图 2所示。

火灾的发生、发展和蔓延过程都会影响火灾现场的光线变化，进而作用于监控摄像机，使得监控视野中出现明暗不一的光影动态变化过程。火灾现场光路分析，即根据光的反射、折射原理等，按照监控视野中的光影变化特征，对火焰光路进行初步还原，从而对起火部位进行初步确定。

在火灾现场，火焰热辐射能力强，火焰光亮度较大，周围物体表面亮度较高。火源与周边物体空间几何位置远近不同，使得火焰光在火场物体表面反射亮度不同，即在监控视野中物体表面亮度不同。火灾现场的亮度分布，直接反映了火灾现场的物件空间布局。因此，按照式(1)计算监控视频记录的火灾现场空间亮度，对火灾现场空间亮度进行分析，可以对起火部位进一步定位。

式中：L为亮度，Φ为光通量，α为立体角，θ为给定方向与单位面积元ds法线方向的夹角。

为确定火焰的世界坐标与火焰视频图像像素坐标的对应矩阵关系，并建立几何成像方法，需要对摄像机进行标定求出几何参数。本文重点关注火焰与摄像机的Descartes坐标关系，因此需要通过标定确定监控摄像机的内部参数。监控摄像机内部参数由u0、v0、αx、αy和γ共5个参数组成。其中：u0、v0是光学中心；αx、αy分别是u轴和v轴的尺度因子；γ是u轴和v轴的不垂直因子，一般γ=0。

张正友标定法[15]介于传统标定法和自标定法之间，克服了传统标定法需要高精度标定物的缺点，其标定仅需要一个标准棋盘格，但又能满足精度需求，程序简单便于操作，因此本文选择了张正友标定法。本文在MATLAB2019a环境中，利用CameraCalibrator命令，实现摄像机的张正友标定，计算出摄像机的各项参数，结果如图 3所示。

根据标定步骤，利用MATLAB2019a得到摄像机的内部参数矩阵,

单目视觉定位系统主要通过坐标系之间的矩阵变换实现火焰的定位，通常用到4个坐标系，如图 4所示[16]：世界坐标系、摄像机坐标系、成像平面坐标系和像素坐标系。根据提取得到的监控视频，可以计算出火焰的像素坐标系坐标，通过像素坐标与成像平面坐标转换，成像平面与摄像机坐标转换，即可得到火焰在摄像机坐标系中的具体位置。为更进一步确定火焰在三维世界坐标系中的位置，可以继续利用矩阵变换，实现摄像机坐标与世界坐标的转换。

在火灾现场，火灾调查人员结合现场勘验与视频监控信息，可以较为准确地提取到监控摄像机空间位置信息，进而建立摄像机坐标系。利用坐标系之间的线性变换，求得摄像机坐标系和成像像素坐标系的关系，进一步得到火焰相对于摄像机的空间位置关系，从而实现火焰定位。

具体坐标变换的步骤如下：

世界坐标系中，点从摄像机坐标系投影到二维成像平面坐标系中有以下关系，

式中：(x, y)表示空间点在图像坐标系下的坐标值，f表示摄像机焦距，(Xc, Yc, Zc)为空间点在摄像机坐标系下的坐标。

在成像平面上，图像转换为像素图像有以下转化关系，

式中：空间点对应的像素坐标为(u, v)，每个像素在x轴和y轴方向上的物理尺寸用dx和dy表示，成像平面坐标系的原点对应的像素坐标为(u0, v0)。综合以上关系，可以得到

式(5)中(X, Y, Z)为摄像机坐标系中的火焰位置坐标。

传统火灾调查中，在监控摄像机完全遮挡场景下，起火部位的位置确定主要通过现场勘验和痕迹分析实现，需要对火灾现场痕迹形成过程和火灾发展演变过程有较为深刻的把握，耗时耗力。本文提出的基于光路和亮度分析的单目视觉定位方法，首先利用火灾现场监控摄像机收集火灾现场监控视频，结合现场勘验对火灾现场进行二维平面还原，然后通过现场光路分析，初步确定起火部位F1，其次通过图像亮度分析，进一步确定起火部位F2，最后基于单目视觉定位原理对摄像机进行标定并获取内部参数矩阵，结合亮度分析结果更进一步定量计算，确定起火部位F3，具体技术路线见图 5。按照本文提出的基于视频分析的火灾调查方法框架，可以较快认识和深入了解火灾现场痕迹特征规律，并能更快、更准确地确定起火部位。

依照本文所提出的技术路线，首先根据摄像头CamA和CamB所采集信息，并结合现场勘验对火灾现场进行二维重建还原；随后基于光学原理进行火灾现场光路分析，初步确定火焰位置；然后在MATLAB2019a中进行亮度分析，进一步确定起火部位；最后根据单目视觉原理定量计算最终确定火源位置。

通过采集监控摄像机CamA和CamB得到火灾初期发生发展的视频信息，CamA和CamB视频画面如图 6a和6b所示。在CamA视野中，可清楚观察并记录火灾发生初期现场情况：火灾现场房间具有两扇窗户，有日光透过；物件A距离CamA较近，A的南侧表面有火焰反射光，亮度较低；监控视野画面右下角有火焰光出现，起火部位完全位于CamA监控视野之外。通过以上分析，可以推断火焰位置在CamA东侧，且位于物件A的东南侧。

在CamB视野中，可以清楚地看到：火灾现场中主要有有A、B和C 3个物件，其中A的东侧面有微弱火焰反射光，C的西侧面以及玻璃幕墙面有较强的火焰反射光，而B完全遮挡了CamB的视野；在B的北侧地面上有火焰光，光梯度变化呈圆弧状向四周辐射。据此可判断火焰位置位于A的东侧，且距离A较远；位于C的西侧，且与C距离较近；且位于B的正北侧。

综合CamA和CamB视频画面及现场勘验，二维平面重建火灾现场如图 7所示。CamA和CamB分别为火灾现场中2个监控摄像机，其视野宽度均为θ；A、B和C为火灾现场主要摆放物件；正北侧为两扇窗户，正东侧为玻璃幕墙。根据CamA中视频画面所示，根据光学反射折射原理进行光路分析，物件A的东面和南面被火焰光照亮，故延长其东面边界和南面边界，初步确定火焰位于A东南侧交线区域内；根据CamB中视频画面所示，C的西侧面以及C东侧的玻璃幕墙被火光照亮，且亮度较高，故推断火焰位于C的西侧；且火焰完全被B遮挡，故火焰在B的正北方。综上，根据CamA和CamB的监控视频画面及现场勘验，初步确定起火部位位于P5P6P3P4矩形区域内。

进一步观察CamB视频画面，发现：物件C的阴影指向东南方向。现场勘验发现：物件C的阴影处地面有火灾现场掉落物，将其与物件C边缘连接与玻璃幕墙左边缘相交，测量得到阴影方向约为西偏北30°。根据光的直线传播原理，向西偏北30°方向反向延长C的最边缘阴影并与P5P6P3P4矩形区域相交，得到交集区域P7P8P9P10，即为进一步精确的起火部位区域，如图 8所示。

火灾现场的空间亮度分布直接反映了火灾现场光源的空间位置分布，开展亮度分析并结合现场勘验，排除环境光源，即可进一步缩小起火部位推定区域。在MATLAB2019a中对CamB视野中的火灾视频图像进行亮度分析，绘制火灾现场亮度三维分布和二维分布等高线图，分别见图 9a和9b。据图 9a可知，CamB视野中火灾现场亮度分布不相同，其中亮度最大值为图中黄色峰值区域，分别为LA、LB、LC和LD 4个互不相连的区域，其中LA和LB、LC和LD峰值分布呈东西对称，平均亮度值均约为230 cd/m2。据图 9b可知，视频图像中亮度分布不连续，亮度峰值区域面积较小，结合图 9a，可以进一步确定LA、LB、LC和LD的像素坐标区域。

结合火灾现场勘验可知：LC、LD区域像素坐标与现场两扇窗户位置一致，光照使得此区域空间亮度出现峰值；而LA、LB区域处于火灾现场中间位置，在室内无光源的情况下，其亮度峰值同LC、LD区域相近，可推断火焰光照使得此区域亮度出现峰值。根据亮度二维分布图，当像素纵坐标v均为700 pixels时，LA和LB区域均为亮度峰值区域。根据式(1)，当火焰与LA区域和LB区域等距时，LA和LB的亮度值相等，据此可以推断火源位于LA和LB的几何中心处。

为了进一步确定火焰的位置坐标，在MATLAB2019a中获取v=700 pixels截面的亮度分布，如图 10所示。截面亮度有2个等值峰P1和P2，则火焰中心O位于P1和P2正中，即u=1 200 pixels的位置。因此，在CamB监控视野中，火焰中心的像素坐标为O(1 200, 700)pixels。

已知火焰中心的像素坐标为O(1 200, 700)pixels，v1=v2=380，u1=u2=1 200 pixels。根据单目视觉原理，建立火焰定位方程组，如式(6)—(10)所示：

求解方程组(6)—(10)得

式(8)中Cons为火焰的深度值Z，在单目定位法中尚不可求出。在摄像机坐标系中，火焰与监控摄像机的相对位置唯一确定，即确定火焰方向β，因此有

于是，可以进一步缩小火焰位置区域，如图 11所示。在摄像机坐标系中，火焰的摄像机坐标为(0.944, -0.759, Cons)m，则火焰位置位于x轴的正向区域，y轴的负向区域，起火部位区域由P7P8P9P10缩小为区域P7P8P12P11，较为精确地实现了起火部位的定位。

针对实际火灾现场较为常见的监控摄像机完全被遮挡场景，本文提出基于光路及亮度分析的单目视觉定位方法对起火部位进行定位。基于光路和亮度分析的单目视觉定位方法首先利用火灾现场监控摄像机收集现场监控视频，结合现场勘验对火灾现场进行二维还原重建，然后通过现场光路分析，初步确定起火部位；其次通过空间亮度分析，进一步确定起火部位；最后基于单目视觉定位原理对摄像机进行标定并获取内部参数矩阵，结合亮度分析结果更进一步定量计算确定起火部位。

本文针对监控摄像机完全遮挡场景提出的基于视频分析的火灾调查方法可实现对起火部位的快速准确定位，是对事故调查方法的探索和实践，为火灾事故调查工作的顺利开展提供了有力的工具。但是，本文尚未考虑火灾烟雾及视频画面模糊等对火焰定位的影响，未来将进一步研究火焰的去模糊算法，并结合本文提出的基于光路和亮度分析的单目视觉定位法，使火源定位更加精确。